🐢

4주차 활동 내용

• speechbrain에서 각자 맡은 역할에 대한 모델 공부하기

speechbrain.processing.diarization module

• class

1. spec_clust_unorm: 이 클래스는 비정규화된 친화도 행렬을 사용하여 스펙트럼 클러스터링을 구현한다
2. spec_cluster: 임베딩에서 sklearn을 사용하여 스펙트럼 클러스터링을 수행한다.

• 함수

1. read_rttm: RTTM을 목록 형식으로 읽고 반환한 다.
2. write_ders_file: 개별 녹음을 위한 최종 DER을 작성한다.
3. prepare_subset_csv: 지정된 레코딩 ID에 대한 csv를 준비한다.
4. is_overlapped: 세그먼트가 겹치는 경우 True를 반환한다.
5. merge_ssegs_same_speaker: 동일한 스피커에서 인접한 하위 세그먼트를 병합한다.
6. distribute_overlap: 서로 다른 화자가 있는 인접 세그먼트 간에 겹쳐진 음성을 균등하게 분배한다.
7. .write_rttm: 세그먼트 목록을 RTTM 형식(표준 NIST 형식)으로 쓴다.
8. get_oracle_num_spkrs: 실측 자료에서 녹음의 실제 화자 수를 반환한다.
9. spectral_embedding_sb: 스펙트럼 임베딩을 반환한다.
10. spectral_clustering_sb: 스펙트럼 클러스터링을 수행한다.
11. do_spec_clustering: 임베딩에 대해 스펙트럼 클러스터링을 수행한다.
12. do_kmeans_clustering: 임베딩에 대해 kmeans 클러스터링을 수행한다.
13. do_AHC: 임베딩에 대해 Agglomerative Hierarchical Clustering을 수행한다.